Theo tài liệu của Ban nghiên cứu lịch sử Đảng Cộng sản Việt Nam, Hoàng Văn Thụ đã được học cả chữ Hán và chữ quốc ngữ từ nhỏ. Năm 14 tuổi (1920), sau học đậu sơ học yếu lược[2] ông ra thị xã Lạng Sơn học tiếp.

Tại đây, Hoàng Văn Thụ đã gặp và kết bạn với Hoàng Đình Giong và Lương Văn Tri, những người trở thành bạn hoạt động cách mạng của ông sau này.

Năm 1926, sau lễ truy điệu nhà yêu nước Phan Chu Trinh, ông đã cùng Lương Văn Tri thành lập nhóm thanh niên yêu nước ở Lạng Sơn. Cuối năm 1927, ông cùng Lương Văn Tri sang Bản Đáy (Quảng Tây, Trung Quốc) là nơi Việt Nam Thanh niên Cách mạng Đồng chí Hội đang tổ chức các lớp huấn luyện chính trị. Nhưng khi ông vừa tới nơi thì bị đặc vụ vây bắt. Ông chạy thoát về Long Châu, trải qua nhiều khó khăn gian khổ để kiếm sống và hoạt động, có lần phải đóng làm người "bán thuốc cao" và thậm chí phải đi xin ăn, nhưng ông vẫn không nản chí, vẫn luôn tận tụy không ngừng trong các hoạt động đấu tranh.